スパースコーディング(Sparse coding)
https://www.youtube.com/watch?v=7a0_iEruGoM
入力(x)を次元の高い辞書(Dictionary; D)とほとんど0のベクトル(h)の2つで表現する
$ \hat{x} = \sum_{i=1}^K D_ih_i
事前に使い勝手の良い辞書を学習しておけば、新たな入力を表現する際にほとんど0だけのベクトルで表現可能
これはかなり省エネな情報表現
実際に生物の視覚における情報表現に利用されているとか
https://www.youtube.com/watch?v=XU_5s8lgTsY
hl.icon
神経科学者によるブログ
このブログによると、昆虫からヒトにいたるまでスパースコーディングの使用が示唆されている